神经架构搜索(NAS)在神经网络(NN)的设计和部署方面具有显着提高的生产率。由于NAS通常通过部分或完全训练多个模型来评估多个模型,因此提高的生产率是以大量碳足迹为代价的。为了减轻这种昂贵的训练例程,零击/成本代理在初始化时分析了NN以产生分数,这与其真正的准确性高度相关。零成本代理目前是由专家设计的,这些专家对可能的算法,数据集和神经体系结构设计空间进行了多个经验测试。这降低了生产率,并且是对零成本代理设计的一种不可持续的方法,因为深度学习用例本质上多样化。此外,现有的零成本代理无法跨越神经体系结构设计空间。在本文中,我们提出了一个基因编程框架,以自动化发现零成本代理以进行神经体系结构评分。我们的方法有效地发现了一个可解释且可推广的零成本代理,该代理在NASBENCH-2010和网络设计空间(NDS)的所有数据集和搜索空间上提供了最高得分 - 准确性的相关性。我们认为,这项研究表明了自动发现可以跨网络体系结构设计空间,数据集和任务的零成本代理的有希望的方向。
translated by 谷歌翻译
A reduced order model of a generic submarine is presented. Computational fluid dynamics (CFD) results are used to create and validate a model that includes depth dependence and the effect of waves on the craft. The model and the procedure to obtain its coefficients are discussed, and examples of the data used to obtain the model coefficients are presented. An example of operation following a complex path is presented and results from the reduced order model are compared to those from an equivalent CFD calculation. The controller implemented to complete these maneuvers is also presented.
translated by 谷歌翻译
Federated Learning (FL) is extensively used to train AI/ML models in distributed and privacy-preserving settings. Participant edge devices in FL systems typically contain non-independent and identically distributed~(Non-IID) private data and unevenly distributed computational resources. Preserving user data privacy while optimizing AI/ML models in a heterogeneous federated network requires us to address data heterogeneity and system/resource heterogeneity. Hence, we propose \underline{R}esource-\underline{a}ware \underline{F}ederated \underline{L}earning~(RaFL) to address these challenges. RaFL allocates resource-aware models to edge devices using Neural Architecture Search~(NAS) and allows heterogeneous model architecture deployment by knowledge extraction and fusion. Integrating NAS into FL enables on-demand customized model deployment for resource-diverse edge devices. Furthermore, we propose a multi-model architecture fusion scheme allowing the aggregation of the distributed learning results. Results demonstrate RaFL's superior resource efficiency compared to SoTA.
translated by 谷歌翻译
Technical indicators use graphic representations of data sets by applying various mathematical formulas to financial time series of prices. These formulas comprise a set of rules and parameters whose values are not necessarily known and depend on many factors: the market in which it operates, the size of the time window, and others. This paper focuses on the real-time optimization of the parameters applied for analyzing time series of data. In particular, we optimize the parameters of technical and financial indicators and propose other applications, such as glucose time series. We propose the combination of several Multi-objective Evolutionary Algorithms (MOEAs). Unlike other approaches, this paper applies a set of different MOEAs, collaborating to construct a global Pareto Set of solutions. Solutions for financial problems seek high returns with minimal risk. The optimization process is continuous and occurs at the same frequency as the investment time interval. This technique permits the application of non-dominated solutions obtained with different MOEAs simultaneously. Experimental results show that this technique increases the returns of the commonly used Buy \& Hold strategy and other multi-objective strategies, even for daily operations.
translated by 谷歌翻译
通常考虑使用原型生成(PG)方法来提高$ k $ neart nearbor($ k $ nn)分类器的效率。与初始集合相比,这种方法旨在生成降低的语料库版本,而不会降低分类性能。尽管它们在多类方案中进行了庞大的应用,但很少有作品解决了多标签空间的PG方法的建议。在这方面,这项工作介绍了四种多类PG策略对多标签案例的新颖调整。这些建议通过三个基于$ k $ nn的分类器进行评估,其中12个Corpora包括各种域和语料库大小,以及数据中人为诱导的不同噪声场景。获得的结果表明,所提出的适应能够显着改善(在效率和分类性能方面),唯一的参考文献多标记PG在文献中以及没有应用PG方法的情况,也呈现A在嘈杂的场景中,统计上较高的鲁棒性。此外,这些新颖的PG策略允许通过其配置来优先考虑效率或功效标准,具体取决于目标情况,因此涵盖了以前未被其他作品所填写的解决方案空间中的广泛区域。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
贝叶斯工作流程通常需要引入滋扰参数,但对于核心科学建模,需要访问边缘后部密度。在这项工作中,我们使用掩盖的自回归流量和内核密度估计器封装边缘后部,使我们能够计算边际kullback-leibler脱离器和边缘贝叶斯模型尺寸,此外还可以生成样品和计算边际对数概率。我们将其应用于暗能量调查的局部宇宙学示例和全局21cm信号实验。除了计算边缘贝叶斯统计数据外,这项工作对于在贝叶斯实验设计,复杂的先验建模和似然仿真中进一步应用也很重要。该技术可在PIP可容纳的代码人造黄油中公开获得。
translated by 谷歌翻译
二进制恒星经历各种相互作用和进化阶段,对于预测和解释观察到的特性至关重要。具有完整恒星结构和进化模拟的二元种群合成在计算上需要大量的质量转移序列。最近开发的二元种群综合代码Posydon结合了梅萨二元星模拟的网格,然后将其插值以模拟大型大型二进制文件。计算高密度直线网格的传统方法对于高维网格,不可扩展,这是一系列金属性,旋转和偏心率的范围。我们提出了一种新的活跃学习算法PSY-CRI,该算法使用数据收集过程中的机器学习来适应和迭代选择目标模拟以运行,从而导致自定义,高性能的训练集。我们在玩具问题上测试PSY-CRIS,发现所得的训练集比常规或随机采样网格所需的模拟更少以进行准确的分类和回归。我们进一步将psy-cris应用于构建Mesa模拟动态网格的目标问题,我们证明,即使没有微调,仅$ \ sim 1/4 $的模拟集也足以足以达到相同的分类精度。当针对目标应用程序优化算法参数时,我们预计将进一步增益。我们发现,仅对分类进行优化可能会导致回归中的绩效损失,反之亦然。降低产生网格的计算成本将使Posydon的未来版本涵盖更多的输入参数,同时保留插值精度。
translated by 谷歌翻译
最近的神经结构搜索(NAS)解决方案已经生产出令人印象深刻的结果培训超级网络,然后派生子网,A.K.A.儿童模型从预定义的搜索空间中胜过专家制作的模型。可以为资源受限的边缘设备选择高效且强大的子网,允许它们在野外执行良好。然而,构建任意架构的超级网络仍然是一种挑战,通常可以防止采用这些方法。为了解决这一挑战,我们呈现Bootstrapnas,这是一种自动生成NAS的超网络的软件框架。 Bootstrapnas从流行的体系结构,例如Reset-50或有效的自定义设计中获取预先训练的模型,并自动创建超网络,然后使用最先进的NAS技术来训练超级网络,导致子网,显着优于给定的预先训练模型。我们通过从任意模型存储库生成超级网络并提供结果的超网络来展示解决方案,以获得结果的再现性。
translated by 谷歌翻译
深度学习(DL)模型为各种医学成像基准挑战提供了最先进的性能,包括脑肿瘤细分(BRATS)挑战。然而,局灶性病理多隔室分割(例如,肿瘤和病变子区)的任务特别具有挑战性,并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性,可以实现最不确定的地区的临床审查,从而建立信任并铺平临床翻译。最近,已经引入了许多不确定性估计方法,用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中,我们探索并评估在Brats 2019-2020任务期间开发的公制,以对不确定量化量化(Qu-Brats),并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制(1)奖励不确定性估计,对正确断言产生高置信度,以及在不正确的断言处分配低置信水平的估计数,(2)惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性,所有这些都参与了主要的Brats细分任务。总体而言,我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值,因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。
translated by 谷歌翻译